Dưới thời Pháp thuộc, địa bàn xã Long Sơn hiện nay thuộc làng Núi Nứa, tổng An Phú Tân, tỉnh Bà Rịa. Về sau, làng Núi Nứa được đổi tên thành làng Sơn Long.

Năm 1956, chính quyền Việt Nam Cộng hòa sáp nhập tỉnh Bà Rịa với thị xã Vũng Tàu thành tỉnh Phước Tuy. Ngày 3 tháng 1 năm 1957, các đơn vị hành chính của tỉnh Phước Tuy được sắp xếp lại, Sơn Long lúc này là một xã thuộc quận Vũng Tàu.

Ngày 1 tháng 2 năm 1960, xã Sơn Long được đổi tên thành xã Long Sơn theo Nghị định số 114-BNV/NCĐ/NĐ của Bộ Nội vụ. Đến năm 1969, xã Long Sơn được chuyển về quận Long Lễ.

Sau năm 1975, Long Sơn là một xã thuộc huyện Châu Thành, tỉnh Đồng Nai.

Ngày 30 tháng 5 năm 1979, đặc khu Vũng Tàu – Côn Đảo được thành lập[3], xã Long Sơn trực thuộc đặc khu.

Ngày 12 tháng 8 năm 1991, đặc khu Vũng Tàu - Côn Đảo giải thể[4], xã Long Sơn trực thuộc thành phố Vũng Tàu như hiện nay.